Costello siegte zwar bei den nationalen Meisterschaften 1919 und 1922 im Einer, doch war er mit dem Doppelzweier weitaus erfolgreicher. Zusammen mit seinem Cousin John B. Kelly senior, dem Vater von Grace Kelly und John B. Kelly junior, gewann er bei den Olympischen Sommerspielen 1920 die Goldmedaille. Sie wiederholten diesen Erfolg vier Jahre sp